8月,一场盛夏的技术盛宴将要来啦!这就是ApacheCon Asia。作为开源界备受关注的会议之一,今年大会将持续3天,开设14+分论坛,内容覆盖从大数据到搜索再到消息队列等数十个不同类别。
作为多个Apache项目的活跃贡献者,以及国内首家Apache白金会员,腾讯与Apache社区进行了深入的合作,并推动Apache基金会在开源领域的创新。目前,除了在Hadoop、Spark等众多项目中担任Committer外,腾讯的内部团队还基于Apache中的如InLong、Ozone、Pulsar等项目实现了对业务的支撑和赋能,并形成了一套最佳实践。在本届ApacheCon Asia上,来自腾讯的多位工程师(他们同时也是这些开源项目的PMC或Committer)将分享腾讯如何更好地应用开源项目来加速技术架构的迭代创新,使业务始终获得高性能。关于本次大会腾讯分享议程如下,感兴趣的朋友们可「点击原文」进入ApacheCon官网,线上观看本次内容!
演讲一
Apache InLong,一个一站式流数据集成解决方案
演讲时间:2021-08-07 16:50 #BIGDATA 分会场演讲摘要:在大数据场景下,从零开始构建一个完整的数据流服务平台是非常耗时的,而且很难提供快速、稳定的服务。Apache InLong是一个一站式的流数据集成解决方案,它提供了发布和订阅流数据的功能,基于这个系统,可以轻松构建基于流数据的分析和应用。
演讲二
Apache Ozone 如何通过 Raft 协议建立起高可用性
演讲时间:2021-08-07 14:50 #BIGDATA 分会场演讲摘要:Apache Ozone是Hadoop的一个可扩展的、冗余的、分布式的对象存储,在2020年成为Apache顶级项目。作为Apache Ozone的早期采用者,腾讯大数据平台已经部署了一个超过1000个节点的Ozone集群作为大数据应用的后台存储。此外,腾讯还利用Ozone作为一些私人数据仓库项目的主要存储解决方案。由于Ozone被大量使用,其高可用性被列为生产中支持的首要任务。2020年,腾讯工程师与Cloudera工程师合作,在Apache Ratis(Raft实现)的帮助下,为SCM(存储容器管理器)实施Ozone HA。为了保持高可用性,Ozone SCM必须做到什么程度的复杂性。
为什么Ozone决定使用Raft方案来实现单片机HA。
Ozone团队如何使用Raft和Java反射来复制整个SCM组的数据。
Ozone团队如何优化启用HA后的单片机性能。
Li Cheng,现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。
Shashikant Banerjee,软件工程专家,在设计和构建可扩展和高性能的分布式存储系统方面拥有8年以上的经验。目前是Apache Hadoop、Apache Ozone和Apache Ratis社区的提交者和PMC成员。
Nanda Kumar,软件工程专家,在设计和构建可扩展的分布式存储系统方面有9年以上的经验。目前是Apache Hadoop和Apache Ozone社区的提交者和PMC成员。
演讲时间:2021-08-08 14:10 #BIGDATA 分会场自从2019年COS作为腾讯云对象存储解决方案向Hadoop社区提交Hadoop Capatible FS plugic Hadoop-COS后,腾讯云就全速在腾讯COS上支持数据湖。2021年,腾讯COS用多层加速器GooseFS将Hadoop-COS武装起来,这不仅大大提升了COS在Hadoop生态中的性能,也让腾讯COS与大数据、AI平台的凝聚力更强。GooseFS如何帮助腾讯云平台与EMR和K8s的凝聚力。
新的Hadoop-COS带来的透亮的IO性能加速。
GooseFS如何加载命名空间级缓存和表级缓存。
新Hadoop-COS带来的腾讯云存储的数据湖解决方案。
Li Cheng,现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。演讲四
Apache Pulsar在腾讯百万级TOPIC下的应用实践
演讲时间:2021-08-08 14:50 #Messaging 分会场Apache Pulsar 作为下一代云原生分布式消息流平台,集消息、存储和函数式计算为一体,并采用存储与计算分离的架构。Apache Pulsar 目前在腾讯云内部已经成功支持大量数据和流量业务场景,本议题将分享腾讯云在 Apache Pulsar 百万量级 Topic 下最佳实践以及运维经验。冉小龙,Apache Pulsar committer、Apache pulsar-client-go 作者、Go Functions 作者、RoP Maintainer。2020年底加入腾讯,现负责腾讯云TDMQ的建设,致力于打造稳定、高效、可扩展的底层基础组件和服务。
演讲五
使用 Airflow 在 Kubernetes 进行数据处理
演讲时间:2021-08-08 14:50 #Workfloa Data Governance 分会场3. airflow运行在docker/docker-compose/k8s上4. airflow kubernetes-operator栾鹏,现任职于腾讯音乐数据中心,从事云原生机器学习平台和数据平台相关内容的建设。演讲六Apache Pulsar——云原生消息队列在腾讯云的实践
演讲时间:2021-08-08 14:10 #Messaging分会场
演讲摘要:
Apache Pulsar 目前在腾讯云上已大规模使用。但消息队列在云原生环境面临了诸多挑战,Pulsar 是一个更好的解决方案。本次演讲将介绍 Pulsar 在云原生环境上的一些实践经验,如:如何快速动态扩缩容,如何提升集群资源的利用率,集群形态等等。
讲师简介:
林琳,腾讯云高级工程师。Apache Pulsar Commiter,专注于中间件领域,对消息队列、微服务等方面有丰富的经验。2019年加入腾讯,现负责腾讯云TDMQ的建设,致力于打造稳定、高效、可扩展的底层基础组件与服务。
看了这么丰富的内容分享后你是否心动了呢?8月7日-8日,千万别错过这些精彩哦~快「点击原文」进入ApacheCon官网,预约好你的时间,线上观看本次内容吧!
欢迎关注「腾源会」公众号,期待你的「在看」哦~👇